Sau khi Đường Cao Tông Lý Trị lên ngôi, sủng ái Võ tài nhân, vốn là phi tần của Đường Thái Tông. Năm Vĩnh Huy thứ 6 (655), Cao Tông lập Võ thị làm Hoàng hậu, bất chấp mọi can gián của Trưởng Tôn Vô Kỵ.

Khi ấy, Trưởng Tôn Vô Kỵ được coi là chướng ngại vật lớn nhất của Võ Hậu do nhiều lần can gián Cao Tông Lý Trị làm theo ý bà. Võ Hậu sau đó mật mưu cùng Hứa Kính Tông, vu cáo Trưởng Tôn Vô Kỵ ý đồ tạo phản, khiến ông bị đày đi Kiềm Châu (黔州; nay là Trùng Khánh, Bành Thủy). Đến năm 659 thì bị buộc tự sát. Không lâu sau, con cháu trong gia tộc vẫn được ra làm quan, nhưng dòng dõi Trưởng Tôn không còn thịnh đạt như trước nữa. Đến đời Đường Túc Tông, Hoàng đế khôi phục lại quan tước cho Vô Kỵ.